尖峰神经网络（SNN）是一种具有生物学知识的模型，具有高计算能力和低功耗的优势。虽然对深SNN的培训仍然是一个空旷的问题，但它限制了深SNN的现实应用。在这里，我们提出了一个名为Spiking SiamFC ++的深SNN架构，用于对象跟踪，并通过端到端直接培训。具体而言，Alexnet网络在时间域中扩展以提取该功能，并采用替代梯度功能来实现对深SNN的直接监督培训。为了检查尖峰SiAMFC ++的性能，考虑了几种跟踪基准测试，包括OTB2013，OTB2015，Dot2015，Dot2016和UAV123。发现与原始的siAMFC ++相比，精度损失很小。与现有的基于SNN的目标跟踪器相比，例如暹罗（Siamsnn），提议的Spiking SiamFC ++的精度（连续）达到了85.24％（64.37％），远高于52.78％（44.32％）的精度（64.37％）。 。据我们所知，Spiking SiamFC ++的性能优于基于SNN的对象跟踪中现有的最新方法，该方法为目标跟踪领域中的SNN应用提供了新的路径。这项工作可能会进一步促进SNN算法和神经形态芯片的发展。
translated by 谷歌翻译
随着计算能力的兴起，使用数据驱动的方法来共同设计机器人的形态和控制器已成为一种可行的方法。然而，评估每个形态下控制器的适应性是耗时的。作为开创性数据驱动的方法，共同适应利用了双NETWORK机制，目的是学习以形态学参数为条件的Q功能，以取代对各种候选者的传统评估，从而加快优化的速度。在本文中，我们发现共同适应在参数传输期间训练和状态行动分布变化期间的勘探误差的存在，这损害了性能。我们提出了在线和离线RL方法的并发网络的框架。通过灵活地利用行为克隆术语，我们可以减轻上述问题对结果的影响。进行仿真和物理实验以证明我们所提出的方法优于基线算法，这说明了所提出的方法是发现形态和控制器的最佳组合的有效方法。
translated by 谷歌翻译
近年来，在自学学习（SSL）方面取得了重大成功，这有助于各种下游任务。但是，攻击者可能会窃取此类SSL模型并将其商业化以获利，这对于保护其知识产权（IP）至关重要。大多数现有的IP保护解决方案都是为监督学习模型而设计的，不能直接使用，因为它们要求模型的下游任务和目标标签在水印嵌入过程中已知并获得，这在SSL的域中并非总是可以的。为了解决此类问题，尤其是在水印嵌入过程中下游任务多样化且未知时，我们提出了一种新型的黑盒水印解决方案，名为SSL-WM，以保护SSL模型的所有权。 SSL-WM将水印编码器的水印输入映射到不变的表示空间中，该空间会导致任何下游分类器产生预期的行为，从而允许检测到嵌入式水印。我们使用不同的SSL模型（包括基于对比度和基于生成的生成型）来评估许多任务，例如计算机视觉（CV）和自然语言处理（NLP）等许多任务。实验结果表明，SSL-WM可以有效地验证各种下游任务中被盗SSL模型的所有权。此外，SSL-WM对模型进行微调和修剪攻击非常强大。最后，SSL-WM还可以从评估的水印检测方法中逃避检测，从而证明了其在保护SSL模型IP时的有希望的应用。
translated by 谷歌翻译
本文着重于通过分散网络的在线内核学习。网络中的每个代理都会在本地接收连续流数据，并协同工作以学习一个非线性预测函数，该功能在复制的内核希尔伯特空间中相对于所有代理的总瞬时成本而言是最佳的。为了规避传统在线内核学习中维度问题的诅咒，我们利用随机功能（RF）映射将非参数内核学习问题转换为RF空间中的固定长度参数。然后，我们建议通过线性化ADMM（ODKLA）有效地解决在线分散的内核内核学习问题，提出一个名为在线分散内核学习的新颖学习框架。为了进一步提高沟通效率，我们在通信阶段添加了量化和审查策略，并开发了量化和通信的ODKLA（QC-ODKLA）算法。从理论上讲，我们证明了Odkla和Qc-odkla都可以在$ t $ time插槽上实现最佳的Sublinear后悔$ \ Mathcal {O}（\ sqrt {t}）$。通过数值实验，我们评估了所提出方法的学习效率，沟通和计算效率。
translated by 谷歌翻译
我们提出了Tacobot，这是为首届Alexa Prive Taskbot Challenge构建的面向任务的对话系统，该系统可帮助用户完成多步骤烹饪和家庭装修任务。Tacobot的设计采用以用户为中心的原则，并渴望提供协作且易于访问的对话体验。为此，它具有准确的语言理解，灵活的对话管理和引人入胜的响应生成。此外，Tacobot还以强大的搜索引擎和自动化的端到端测试套件为支持。在引导Tacobot的开发中，我们探索了一系列数据增强策略，以训练先进的神经语言处理模型，并通过收集的真实对话不断改善对话经验。在半决赛结束时，Tacobot的平均评分为3.55/5.0。
translated by 谷歌翻译
本文介绍了我们DFGC 2022竞赛的摘要报告。深层味道正在迅速发展，现实的面部折叠变得越来越欺骗性和难以检测。相反，检测深击的方法也正在改善。 Deepfake创作者和防守者之间有两党的比赛。这项竞赛提供了一个通用平台，用于基准在DeepFake创建和检测方法中当前最新的游戏之间的游戏。这场比赛要回答的主要研究问题是彼此竞争时两个对手的现状。这是去年DFGC 2021之后的第二版，具有新的，更多样化的视频数据集，更现实的游戏设置以及更合理的评估指标。通过这项竞争，我们旨在激发研究思想，以建立对深层威胁的更好的防御能力。我们还发布了我们的参与者和我们自己的DFGC 2022数据集，以丰富研究社区的DeepFake数据资源（https://github.com/nice-x/dfgc-2022）。
translated by 谷歌翻译
通过移动激光扫描和图像构建有色点的云是测量和映射的基本工作。它也是为智能城市建造数字双胞胎的重要先决条件。但是，现有的公共数据集要么是相对较小的规模，要么缺乏准确的几何和彩色地面真理。本文记录了一个名为Polyu-BPComa的多功能数据集，该数据集可独特地定位于移动着色映射。该数据集在背包平台上包含3D激光雷达，球形成像，GNSS和IMU的资源。颜色检查器板在每个调查区域粘贴，因为目标和地面真相数据是由先进的陆地激光扫描仪（TLS）收集的。 3D几何信息和颜色信息可以分别在背包系统和TLS产生的有色点云中恢复。因此，我们提供了一个机会，可以同时为移动多感官系统对映射和着色精度进行基准测试。该数据集的尺寸约为800 GB，涵盖室内和室外环境。数据集和开发套件可在https://github.com/chenpengxin/polyu-bpcoma.git上找到。
translated by 谷歌翻译
我们将变异自动编码器（VAE）应用于Lamost-K2低分辨率光谱，以检测K2场中恒星的磁活性。在对所选无活跃恒星的光谱进行训练之后，VAE模型可以有效地生成光谱减法程序所需的合成参考模板，而不知道任何恒星参数。然后，我们在样品中检测到特殊的光谱特征，例如色圈排放，强卵巢排放和锂吸收。我们测量色球活性指标的排放，H $ \ alpha $和Ca II红外三重线（IRT）线，以量化出色的磁性活性。活跃星的H $ \ alpha $和Ca II IRT线的过量排放与旋转周期和源自K2光度法得出的光曲线的振幅非常相关。我们降低了LAMOST光谱，以模拟中国空间站望远镜（CSST）的无频谱，并将VAE应用于模拟数据。对于凉爽的活跃恒星，我们揭示了h $ \ alpha $线的等效宽度（ews）之间的良好协议，该线从光谱中衍生出具有两种决议。结果表明，在未来的CSST调查中鉴定磁性恒星的能力，该恒星将提供前所未有的大型低分辨率光谱数据库以及同时的恒星多波段光度法。
translated by 谷歌翻译
最近，Vision-Language预训练的零拍图像分类已经表现出令人难以置信的成就，即该模型可以对任意类别进行分类而不看到该类别的其他注释图像。然而，目前尚不清楚如何在更广泛的视觉问题上进行零射识别，例如对象检测和语义分割。在本文中，我们通过在现成的预训练的视觉模型，即剪辑上建立零拍语义分割来定位零拍语义分割。很难因为语义分割和剪辑模型在不同的视觉粒度上执行，该语义分段处理在像素上时，而剪辑在图像上执行。为了解决处理粒度的差异，我们拒绝使用普遍的一级FCN基于FCN的框架，并倡导一个两级语义分割框架，其中第一阶段提取一个完全提取的掩模提案和第二阶段利用基于图像的剪辑模型在第一阶段生成的蒙版图像作物上执行零拍分类。我们的实验结果表明，这种简单的框架通过大型利润率超越了先前的最先进：+29.5 Hiou On Pascal VOC 2012 DataSet，+8.9 Hiou On Coco Stuff DataSet。凭借其简单性和强大的表现，我们希望本框架成为促进未来研究的基准。
translated by 谷歌翻译
我们介绍混音，一个用于对象检测的新培训范例，可以免费提高现有探测器的性能。混合通过利用不同优点的增强来增强数据增强，同时排除某些可能对培训可能有害的培训样本的强大增强。此外，它通过结合可以补偿这些错误的伪框来解决人类注释中的本地化噪声和丢失标签。通过对探测器的自动启动，可以使用这些混音功能，这可以用于预测对强大增强的训练难度，以及由于神经网络对标记错误的鲁棒性而产生可靠的伪框。发现混音是在Coco DataSet上的各种探测器上带来一致的改进。特别是，使用Reset-50 \ Cite {REN2015Faster}更快的R-CNN \ CITE {REN2015FAST}骨架的性能从41.7地图改进到44.0地图，以及CASCADE-RCNN \ CITE {CAI2018CASCADE}的准确性-small \ cite {liu2021swin}骨干从50.9地图提出到52.8地图。代码和模型将在\ url {https://github.com/mendelxu/mixtraining}上公开可用。
translated by 谷歌翻译